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摘要 
两 个 台 址 
区 域 中 心 。 具 有 SKA 10% 规模 的 SKA1 阶段 ， 每 
分 发 到 各 个 SKA 区 域 中 心 (SRC), ， 如 此 高 
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平方 公里 阵列 望远镜 (SKA) 作为 最 大 的 射电 望远镜 ,其 观测 产生 的 数据 将 首先 由 澳大利亚 和 和 南非 
传输 到 百 公 里 左右 的 科学 数据 处 理 中 心 ， 然 后 通过 高 速 网 络 分 发 到 上 万 公里 距离 的 各 个 SKA 
预计 有 750PB 的 
的 网 络 带宽 和 数据 规模 对 数据 的 传输 分 发 带 来 极 大 挑战 。 本 


数据 需要 通过 至 少 100Gbps 的 网 络 


文通 过 对 TCP/UDP/HTTP 等 不 同 网 络 协议 的 分 析 ， 并 使 用 当前 射电 天 文 领域 不 同 的 软件 进行 测试 和 
究 ， 得 出 了 目前 在 10Gbps 网 络 的 基础 设施 下 最 佳 的 传输 方案 参数 ， 文 中 讨论 了 影响 高 速 传输 的 因素 ， 给 
出 了 相应 的 性 能 优化 的 策略 ， 在 SKA1 真正 的 观测 数据 产生 之 前 ， 将 为 中 国 SKA 区 域 中 心 的 网 络 建设 和 
布局 提供 技术 基础 。 描 述 的 技术 细节 和 方法 可 供 相关 科学 应 用 参考 和 使 用 。 最 后 讨论 并 展望 了 未 来 SKA 
网 络 需求 的 挑战 。 

关键 词 ”平方 公里 阵列 , SKA 区 域 中 心 , 高 速 网 络 , 数据 传输 


PACS: 47.27.-i, 47.27.Eq, 47.27.Nz, 47.40.Ki, 47.85.Gj 


1 引言 


平方 公里 阵列 望远镜 (Square Kilometre Ar- 
ray, 简称 SKA) 是 一 项 国际 大 科学 工程 ,是 由 全 球 
多 国 合资 建造 和 运行 的 世界 最 大 规模 综合 孔径 射电 
望远镜 ， 也 是 由 多 个 关键 科学 问题 驱动 的 大 科学 工 
TE, 具有 超大 视 场 、 超 高 分 辨 率 和 超 高 灵敏 度 的 特 
点 ， 其 灵敏 度 预计 提高 50 倍 ， 巡 天 速度 预计 提高 
10000 (F03, SKA 的 数据 生成 、 传 给、 处理 必然 
导致 极 高 的 数据 流产 生 ， 也 对 从 台 站 产生 数据 、 传 


输 到 中 央 信 和 号 处 理 器 (Central Signal Processor, {ij 
称 CSP)、 及 最 后 到 SKA 区 域 中心 (SKA Regional 
Centre, 简称 SRC) 等 各 个 阶段 的 数据 传输 提出 了 
很 高 的 需求 A! 。 根 据 目 前 的 规划 ，SKA 第 一 阶 
Pe (SKA Phase 1, 简称 SKA1) 已 于 2021 年 7 
月 正式 启动 建设 ,预计 2029 年 底 建 成 并 投入 运行 ， 
产生 的 数据 需要 同步 传输 到 位 于 全 球 的 各 个 SRC， 
根据 每 个 SRO 数据 分 担 的 评估 ， 为 了 满足 SKAL 
的 数据 传输 ， 网 络 带宽 至 少 需要 100Gbps， 才 能 保 
证 SKA1 产生 的 数据 稳定 及 时 地 到 达 各 个 区 域 中 
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Ò, SKAL 正式 运行 后 的 SRC 的 数据 分 发 量 预 计 
为 每 年 710PB， 算 力 至 少 需 要 22PFlops 由。 中 国 
科学 院 上 海天 文 台 于 2019 年 主持 建设 部 署 了 第 一 
个 SKA 区 域 中 心 原型 系统 (CSRC-P ) M, HF 
开展 SRC 前 期 的 科学 预 研究 ， 并 为 后 期 SRC 的 
建设 提供 经 验 基 础 。 作 为 SKA 科学 数据 处 理 系 统 
的 一 个 重要 组 成 部 分 , 考虑 到 其 重要 性 , SKA 天 文 
台 (SKA Observatory， 简 称 SKAO) 为 此 也 专门 
RT SKA 区 域 中 心 指导 委员 会 (SRC Steering 
Committee， 简 称 SRCSC) ， 用 于 考虑 SRC 的 相 
关 需 求 。SRCSC 将 SRC 的 网 络 建设 分 为 两 个 阶 
Bell 来 推进 ， 第 一 个 阶段 为 2020 年 至 2025 4, 
网 络 功能 达到 80% 的 能 力 ， 具 备 SKA1 基线 能 
的 10%; 第 二 个 阶段 为 2025 年 至 2030 年 ， 网 络 
功能 达到 100% 的 能 力 ， 具 备 SKA1 基线 能 力 的 
100%。 这 里 描述 的 SKA 区 域 中 心 基 础 设施 建构 类 
似 于 欧洲 核子 研究 组 织 (Conseil Européenn pour 
la Recherche Nucléaire, 简称 CERN) ©! 的 全 球 大 
型 强 子 对 撞 机 计算 网 格 (World Large Hadron Col- 
lider Compute Griding, 简称 WLCG ) 技 术 , WLCG 
采用 的 分 层 数据 处 理 模型 利用 协议 来 确定 区 域 中 心 
需要 执行 的 数据 处 理 。SRC 网 络 将 提供 给 SKA 社 
区 访问 数据 的 权限 及 用 于 分 析 处 理 数据 的 工具 和 软 
件 回 。 本 文 基于 CSRC-P 系统 , 讨论 中 国 SRC 需要 
具备 的 网 络 基 础 和 相关 政策 ， 通 过 与 目前 SKA 的 
先导 项 目 默 奇 和 森 宽 视 场 阵列 (Murchison Widefield 
Array， 简 称 MWA)、 澳 大 利 亚 SKA 先导 者 (Aus- 
tralian Square Kilometre Array Pathfinder， 简 称 
ASKAP) 及 南非 SKA 探 路 者 项 目 MeerKAT 等 的 
合作 来 阐述 CSRC-P 数 据 传输 的 概况 与 将 来 的 升级 
计划 等 。 以 此 来 探讨 SKAL 及 全 规模 SKA 正式 运 
行 后 ， 中 国 SKA 区 域 中 心 的 路 洲际 高 速 网 络 的 应 
对 措施 和 解决 方案 。 


介绍 了 一 种 支持 SRC 全 球 分 布 站 点 需求 的 网 
络 结构 和 设计 ， 通 过 当前 与 不 同 的 国家 和 机 构 开 展 
的 实测 数据 传输 ， 来 得 出 目前 使 用 的 协议 和 软件 需 
要 进行 的 参数 优化 ， 并 对 未 来 SKA 区 域 中 心 数 据 
传输 提出 了 一 些 建议 和 规划 。 
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2 SKA 网 络 和 数据 流 


SKA 具有 超大 视 场 、 超 高 分 辨 率 、 超 高 灵敏 度 
的 特点 ， 同 时 也 面临 在 新 技术 背后 产生 的 海量 数据 
的 挑战 , 针对 不 同 的 科学 目标 , 从 天 线 数 据 的 获取 、 
存储 ,然后 将 数据 在 中 央 信 号 处 理 器 (Central Sig- 
nal Processor， 简 称 CSP) 上 进行 在 线 或 离线 的 相 
关 处 理 , 进一步 到 达 科 学 数据 处 理 器 (Science Data 
Processor, 简称 SDP) 对 数据 质量 进行 检查 ,包括 
初始 校准 、 快 速成 像 等 预 处 理 ， 生 成 不 同类 型 的 科 
学 产品 ， 最 后 将 预 处 理 的 数据 传输 到 分 布 于 各 大 洲 
的 SRC!) 进行 软件 环境 的 搭建 中 ， 科 学 数据 的 优 
化 处 理 上 13。 

其 中 位 于 澳大利亚 和 南非 的 两 个 观测 台 站 会 将 
所 有 经 过 SKA 科学 数据 处 理 器 预 处 理 后 的 科学 数 
据 发 送 到 世界 各 地 的 SRC, BES SRC 需要 保存 数 
据 副 本 的 一 部 分 吐 巧 ， 同 时 发 送 该 部 分 到 另 一 个 
SRC 产生 一 个 副本 。 该 网 络 需要 支持 SKA 数据 从 
观测 台 站 到 SRC 进行 数据 的 移动 ,以 及 SRC 之 间 
的 数据 交换 。 


| [| [| e: 
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图 1 SKAL 数据 交付 模型 图 上 
Figure 1 Data Deliver Model of SKA1 


海量 的 数据 对 网 络 、 计 算 和 存储 都 提出 了 新 的 
需求 , 数据 的 传输 、 存储、 归档 和 处 理 都 面临 很 大 的 
挑战 。 对 于 SKA 科学 数据 处 理 系统 (Science Data 
Processing, 简称 SDP) 而 言 , 数据 的 处 理 可 以 在 距 
离 台 站 较 近 的 地 方 进行 ， 但 此 时 的 数据 仅仅 经 过 了 
最 初 的 校准 处 理 和 质量 检查 , 而 后 续 的 编辑 、 校 准 、 
成 像 、 识 别 、 工 具 开发 、 归 档 管 理 、 基 准 测试 、 数 据 
分 析 及 相关 科学 均 需 要 在 SRC 进行 ， 所 以 ，SKA 
天 文 台 的 SDP 或 者 CSP 产生 的 数据 并 非 最 终 的 
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科学 分 析 数 据 ， 而 且 ， 如 此 大 的 数据 流 交 付 给 最 终 
的 用 户 是 不 可 行 的 ， 且 SKAO 也 规定 SDP 只 能 由 
天 文 台 的 操作 人 员 访 问 D9 ， 科 学 用 户 只 能 从 SRC 
获取 SKA 的 科学 数据 向, 另外 由 于 观测 台 站 、 区 
域 中 心 以 及 最 终 科学 用 户 分 布 在 全 球 ， 需 要 涉及 到 
SKA 的 信号 传输 与 网 络 子 部 件 (Signal Transport 
and Networks for the SKA， 人 简称 SaDT)， 这 些 都 
对 SRC 的 全 球 网 络 协作 提出 了 很 高 的 要 求 。 一 般 
来 说 ， 传 输 到 SRC 的 数据 产品 将 会 是 非常 大 的 数 
据 文件 , 单个 文件 在 100GB 左右 , 通过 网 络 数据 包 
往返 时 间 (Round-Trip Time, 简称 RTT) 高 达 100 
~ 300 毫秒 的 长 距离 路 径 传 输 到 SRC， 这 些 连续 的 
数据 流 需要 稳定 、 无 损 的 端 到 端 网 络 ， 并 且 没 有 瓶 
MRH. 这 里 有 两 种 网 络 的 操作 模型 如 图 1 所 示 ，, 一 
种 为 通过 100Gbps 的 网 络 带 宽 将 SKAO 的 数据 产 
品 依次 发 送 到 每 个 SRC, 另外 一 种 为 数据 产品 同时 
向 多 个 SRC 并 行 传输 ,并 发 向 5 个 SRC 传输 , 每 
个 数据 链 路 仅 需要 20Gbps 的 网 络 带 宽 即 可 。 

SKA 的 详细 的 数据 网 络 拓扑 图 如 图 2 所 示 。 台 
站 产生 的 原始 观测 数据 , 在 SDP 经 过 初步 处 理 , 通 
过 数据 路 由 分 发 到 每 个 SRC 的 子 网 络 , 天 文学 家 通 
过 互联 网 连接 到 区 域 数据 中 心 进行 深度 数据 处 理 ， 
包括 数据 的 分 析 、 可 视 化 、 建 模 以 及 软件 工具 的 开 
发 , 此 时 的 数据 称 为 高 级 数据 产品 (Advanced Data 
Products， 简 称 ADP)， 此 时 的 数据 将 通过 云 的 方 
式 提 供给 科研 人 员 。 


图 2 数据 交付 拓扑 图 


Figure 2 Data Deliver Tier 


根据 当前 SKAL 的 规模 可 知 ， 中 频 阵 列 单个 天 
线 的 数据 输出 速率 为 64Gbps; 低频 阵列 单个 台 站 
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的 数据 输出 速率 为 16Tbps, 需要 传输 到 区 域 中 心 
的 数据 量 在 710PB 左右 外。 如 图 2 所 示 ， 目 前 预 估 
从 SKAL 产生 并 需要 传输 到 每 个 SRC 的 数据 流 在 
200 ~300PB/year， 其 最 终 人 处 理 后 的 数据 通常 会 比 
这 个 数据 量 小 ， 但 是 在 未 确定 最 终 处 理 模 型 的 情况 
下 ， 多 个 模型 对 比 产生 的 数据 很 可 能 会 比 原始 数据 
还 大 。 

以 2013 ~ 2015 年 银河 系 和 银河 系 外 MWA 这 
天 (The GaLactic and Extra-galactic All-sky MWA 
SURVEY, 简称 GLEAM) P 为 例 , 该 巡天 的 瞬时 
频率 带宽 为 30.72MHz, Æ 72MHz 至 231MHz 之 
间 分 为 五 个 频段 ， 为 了 避免 太阳 的 影响 ， 观 测 只 在 
夜间 进行 , 观测 分 为 一 系列 的 120 秒 的 快照 , 故 10 
分 钟 以 内 可 以 完成 5 个 频段 的 观测 ,每 次 2 分钟 的 
观测 时 间 所 产生 的 原始 可 见 度数 据 为 4GB， 对 其 
做 2 秒 积分 ， 平 均 40kHz 频率 分 辨 率 ， 产 生 的 数 
据 在 26GB， 最 终 的 coarse 通道 的 数据 在 200MB 
左右 ， 如 果 将 积分 时 间 降 低 ， 频 率 分 状 率 提升 ， 会 
直接 增加 产生 的 数据 量 。 后 续 的 GLEAM 扩展 巡 
K (THE GALACTIC AND EXTRA-GALACTIC 
ALL-SKY MWA EXTENDED SURVEY， 简 称 
GLEAM-X) ba, 将 阵列 的 天 线 数量 增加 了 一 倍 , 阵 
列 的 最 大 基线 也 增加 了 一 倍 ， 有 效 提 高 了 uv 覆盖 ， 
并 将 成 像 的 信 噪 比 提高 了 一 个 数量 级 ， 由 于 在 成 像 
中 使 用 了 精细 化 的 fine 通道 , 单个 时 间 片 的 最 终 数 
据 量 增加 到 100GB 以 上 ， 所 以 在 数据 处 理 过 程 中 ， 
产生 的 数据 可 能 会 大 大 多 于 原始 数据 ， 特 别 是 有 特 
殊 研 究 目 的 或 有 偶然 的 发 现 ， 可 能 会 对 原始 数据 进 
行 二 次 甚至 多 次 的 深度 分 析 。 SKA 最 初 的 观测 将 聚 
焦 在 几 个 核心 科学 项 目 (Key Science Project, ff 
称 KSP) 上 面 ， 比 如 脉冲 星 与 宇宙 再 电离 ， 而 对 这 
些 数据 的 处 理 ， 均 需要 研发 新 的 方法 、 算 法 、 软 件 
等 ， 这 些 工 作 均 需要 在 配套 的 平台 上 进行 部 署 和 测 
试 ， 这 也 对 SRC 提出 了 很 高 的 要 求 。 


ay 


2.1 SRC 的 网 络 需求 

SRC 接收 来 自 SKA 天 文 台 站 的 科学 数据 产 
品 ， 并 且 为 用 户 提供 对 科学 数据 产品 的 访问 ， 以 及 
配套 的 工具 和 处 理 方法 加 。SRC 可 以 帮助 科学 家 快 
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速 地 访问 数据 、 处 理 数 据 以 及 发 布 数据 。SRC 将 支 
持 通用 的 协作 基础 设施 和 中 间 件 工具 ， 以 提供 对 数 
据 、 计 算 资 源 和 存储 资源 的 统一 访问 ， 而 不 受 位 置 
的 影响 。 

SRC 将 有 助 于 充分 利用 其 提供 的 计算 资源 和 
存储 资源 ， 因 为 随 着 SKA 的 持续 和 运行， 这些 资 源 
会 保持 持续 的 更 新 和 升级 ， 比 如 通过 CERN 项 
目 ， 可 知 即使 SRC 并 不 位 于 其 设施 的 运行 地 理 区 
域 ， 项 目 也 可 以 正常 的 运行 。 

SRC 除了 主要 提供 从 SKA 站 点 移动 数据 、 进 
行 相关 计算 和 存储 外 ， 还 提供 数据 的 后 续 处 理 ， 并 
允许 相关 的 科研 人 员 共 享 这 些 数据 ， 如 果 政 策 和 协 
议 允 许 ， 这 些 数据 也 可 以 提供 给 其 他 科研 人 员 共 享 
和 处 理 。 

在 网 络 带 宽 人 允许 的 情况 下 , SRC 将 作为 主要 站 
点 生成 数据 产品 的 异地 备份 设施 ， 这 样 SDP 站 点 
就 不 需要 保留 该 数据 ， 但 需要 确保 SKA 对 这 些 数 
据 的 访问 权限 。 

HE, SRC 将 提供 的 功能 包括 但 不 限于 : 

。 数据 处 理 功能 
。 数据 存储 功能 
。 网络 优化 功能 
。 异地 备份 功能 

根据 SKAO 的 规划 , 预计 到 2025 年 左右 , 只 有 
少量 SKA 天 线 建 成 ， 每 个 台 站 的 数据 速率 将 不 超 
过 20Gbps， 随 着 建设 的 推进 和 科学 观测 的 全 面 开 
JE, 2028 年 左右 SKA 的 数据 流量 将 剧 增 , 到 2030 
年 左右 向 SRC 的 输出 速率 将 达到 100Gbps H, 


3 数据 传输 软件 与 协议 


传统 模式 下 ， 观 测 数据 会 在 本 地 进行 存储 和 处 
理 ， 但 是 随 着 SKA 观测 数据 量 的 巨 量 增加 ， 本 地 
已 经 不 足以 支撑 如 此 巨 量 的 数据 处 理 和 分 析 ， 此 时 
就 需要 通过 高 速 网 络 传输 到 各 个 SRC 进行 分 布 式 
计算 和 存储 。 而 影响 长 距离 跨 洲际 的 海量 数据 的 传 
输 主要 包括 : 硬件 设备 、 交 换 机 设备 、 软 件 程序 、 使 
用 的 协议 及 对 应 的 带宽 等 因素 。 


1) www.udt.org 
2) https://www.ssh.com/ 


郭 绍 光 等 . 


3.1 数据 传输 协议 


在 数据 传输 的 测试 中 ， 使 用 了 传统 的 提供 端 到 
端 服务 器 的 传输 控制 协议 (Transmission Control 
Protocol, 简称 TCP), 用 户 数据 报 协议 (User Data- 
gram Protocol, 简称 UDP), 其 中 TCP 稳定 可 靠 且 
面向 连接 ，UDP 简单 易 用 不 面向 连接 。 由 于 TCP 
加 入 了 各 种 安全 保障 功能 ， 在 实际 执行 的 过 程 中 会 
占用 大 量 的 系统 开销 ， 使 得 数据 传输 速度 受到 较 大 
影响 。 随 着 数据 流 的 增加 ，TCP 和 UDP WHERE 
受到 比较 大 的 影响 。 

此 时 就 出 现 了 优化 TCP 协议 的 系列 工作 ， 大 
多 从 TCP 的 参数 、 窗 口 设置 以 及 并 发 性 来 考虑 和 
优化 这 些 协议 中。 最 初 的 有 针对 单 端 优 化 Tuning 
knobs， 但 都 需要 专业 的 管理 员 配 置 ， 且 如 果 数 据 
的 双 端 不 同时 优化 ， 可 能 会 因为 不 同 的 网 络 情况 而 
导致 数据 传输 较 慢 。 其 他 优化 方法 主要 包括 : 修改 
TCP 参数 的 HighSpeed 2 ，BiC 2 ，FAST P23 和 
H-TCP 4]; 并 行 化 TCP 协议 的 PSockets 25 和 
GridFTP 7°]; 基于 效率 可 靠 UDP 的 RBUDP ?7, 
Tsunami Pal 和 FOBS °; 还 有 SABUL B99 (UDT 
协议 的 最 早 原 型 ) 及 基于 UDP 的 数据 传输 协议 BH 
(UDP-based Data Transfer Protocol， 简 称 UDT) 
DHX. 

对 于 数据 传输 协议 而 言 ， 需 要 满足 流 的 特性 、 
可 靠 性 、 文 持 单 路 和 多 路 广播 的 功能 ; 对 于 拥塞 控 
制 而 言 ， 也 需要 满足 高 效 、 公 平 及 分 布 特性 。 

目前 的 这 些 协议 也 存在 很 多 问题 ， 比 如 对 于 改 
进 的 TCP 就 需要 从 内 核 层 面 进行 编译 部 署 ， 提 高 
了 测 斌 门槛， 参数 的 调 优 也 需要 人 工 干预 。 

对 于 UDT 协议 而 言 ， 该 协议 提供 了 应 用 层面 
的 调用 ， 提 供与 TCP 类 似 的 面向 连接 的 功能 ， 全 
新 的 协议 设计 和 应 用 ， 新 的 拥塞 控制 算法 ， 可 配置 
的 拥塞 控制 框架 。 第 3.2.4 节 及 第 3.2.5 节 均 使 用 了 该 
协议 。 

安全 远程 登陆 和 文件 传输 协议 (Secure Remote 
Login and File Transfer, 简称 SSH?) 用 于 以 加 密 
的 方式 远程 登陆 其 他 计算 机 ， 该 协议 提供 了 几 种 不 
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同 的 加 密 认 证 选项 ， 保 证 通讯 的 安全 性 ，SSH 依赖 
于 openssh, 但 代价 是 降低 了 整体 的 传输 速率 。 

同时 还 有 应 用 层 的 超 文本 传输 协议 (Hyper 
Text Transfer Protocol， 简 称 HTTP), HTTP 最 
初 用 于 Web 浏览 器 和 服务 器 端的 通信 ， 现 在 也 用 
于 数据 的 传输 工作 。 


3.2 ”数据 传输 软件 


通过 第 3.1 节 的 讨论 , 一 般 TCP 协议 用 于 专用 
线 绕 或 短 距离 的 数据 传输 ; 对 于 广域网 或 者 长 距离 
大 多 数 使 用 UDP 或 其 他 协议 。 接 下 来 介绍 的 基本 
为 基于 UDP 的 各 类 软件 以 及 更 高 层 的 协议 来 实现 
的 。 


3.2.1 wget 


weet?) — TEEN HIT LA, BATES 
Linux 发 行 版 都 默认 安装 。 它 使 用 Internet 协议 
HTTP, HTTPS, FTP 和 FTPS 来 检索 下 载 文件 ， 
可 以 通过 前 台 或 后 台 的 方式 工作 。 

weet 在 低速 网 络 上 工作 的 非常 好 , 可 以 保持 获 
取 数 据 的 完整 性 ， 并 且 可 以 通过 增 量 的 方式 重新 更 
新 获取 文件 。 因 为 HTTP 和 FTP 均 带 有 时 间 戳 ， 
所 以 weet 可 以 通过 检索 该 属性 来 确认 是 否 需要 更 
新 获取 的 文件 。 

weet 主要 用 于 将 数据 通过 Internet 协议 开放 
的 用 例 ， 这 个 命令 不 需要 对 数据 存储 服务 器 或 节 
点 有 访问 权限 就 可 以 对 公开 数据 进行 下 载 。 但 这 
也 会 导致 由 于 无 法 对 网 络 进行 优化 而 引起 的 性 能 
问题 。 在 同等 网 络 条 件 下 ， 相 对 于 3.2.6 数 据 传输 的 
速率 仅 有 100Mbps。 这 种 情况 可 以 通过 多 线程 的 
wget 和 axel4) 等 来 进行 改进 , 在 使 用 这 种 方法 对 南 
非 MeerKAT 的 数据 进行 传输 时 ， 实 测 下 来 ， 多 线 
程 有 相当 大 的 速率 提升 ， 单 线程 只 有 LOOMbps, 在 
开启 4 个 线程 的 时 候 能 够 达到 500Mbps 的 速率 。 
但 这 里 也 取决 于 服务 端 对 网 络 接口 的 限制 。 


3) http://www.gnu.org/software/wget/ 


= 


4) https://www.axel.org/ 
5) https://iperf.fr 

6) https://www.es.net/ 
7) https://www.lbl.gov/ 
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3.2.2 scp 


安全 文件 拷贝 (Secure File Copy, 简称 sep) 用 
于 在 不 同 的 计算 机 之 间 传 输 数 据 , 该 程序 使 用 SSH 
协议 , 在 大 多 数 的 Linux 和 Unix 发 行 版 默认 安装 。 
在 测试 中 ，scp 性 能 相对 而 言 比较 差 ， 其 中 的 加 密 
校 验 增加 了 部 分 负荷 ， 主 要 原因 还 是 openssh 的 架 
构 设 计 ， 其 内 部 的 windowing 机 制 阻碍 了 快速 连 
接 的 实现 。 特 别 是 在 长 距离 高 延迟 的 情况 下 ， 这 种 
影响 尤为 突出 。SSH 通常 将 数据 传输 的 窗口 设 定 为 
64KB, 这 在 大 数据 流传 输 的 情况 下 , 是 极 大 的 瓶颈 
所 在 。 通 过 动态 定义 窗口 的 缓存 大 小 ， 可 以 将 性 能 
提升 一 个 数量 级 以 上 B, 这 种 方法 通过 定义 一 个 输 
和 人 参数， 来 动态 的 调整 窗口 的 大 小 ， 可 以 利用 内 核 
TCP 栈 的 最 佳 效率 2 。 目 前 该 方法 的 缺点 在 于 , 需 
要 从 源码 编译 ， 并 且 要 保证 数据 发 送 端 和 接收 端 保 
持 同 样 的 版 本 。 这 对 于 网 格 化 的 多 点 传输 而 言 ， 有 
比较 大 的 困难 ， 因 为 这 需要 具备 管理 员 权 限 。 在 使 
用 这 种 方法 对 澳大利亚 SKA 区 域 中 心 Pawsey 超 
算 中 心 数据 服务 器 的 数据 进行 传输 时 ， 单 线程 只 有 
100Mbps 的 传输 速率 , 这 种 情况 下 只 能 通过 同时 开 
启 多 个 终端 来 加 速 数据 的 传输 。 


S 


3.2.3 iperf3 


TPerf3” 是 一 个 开源 的 、 支 持 多 平台 的 工具 , 由 
美国 能 源 网 9 和 劳伦斯 伯克利 国家 实验 室 "” 开 发 ,用 
于 主动 测量 IP 网 络 上 可 实现 的 最 大 网 络 带宽 。 文 
持 调整 与 时 序 、 协 议和 缓冲 区 的 各 种 相关 参数 ， 
次 的 测试 都 会 显示 测试 的 吞吐 量 、 比 特 率 等 参数 。 
IPerf3 支持 目前 常规 的 协议 ， 比 如 TCP. UDP 和 
SCTP. 

在 本 文 研 究 中 , 主要 使 用 了 Perf3 进行 最 初 的 相 
关 测 试 ， 在 4.3 与 西班牙 SKA 区 域 中 心 的 评测 中 ， 
也 主要 使 用 这 款 软件 ， 以 确保 所 有 的 参数 均 为 最 优 
状态 。 在 网 络 传 输 中 ， 传 输 窗口 的 大 小 对 于 测试 非 
常 重要 , 窗口 指明 了 在 接收 应 答 信 号 (acknowledge- 
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ment character, 简称 ACK) 之 前 允许 传输 的 字 节 
数目 和 数据 包 大 小 。 窗 口 过 小 可 能 会 导致 直接 连接 
的 服务 器 和 客户 端 频繁 地 切 分 网 络 数据 包 ， 导 致 传 
输 速 率 被 极 大 地 影响 。 特别 是 随 着 RTT 的 增加 , 数 
据 包 和 ACK 之 间 的 时 间 变 长 ， 如 果 窗 口 太 小 而 无 
法 容纳 数据 包 ， 则 发 送 方 将 被 缩减 以 满足 接收 端的 
IPerf3 的 用 法 为 在 其 中 一 端 使 用 jper13 -s FF 

启 服 务 器 程序 ， 另 外 一 端 作为 客户 端 进行 测试 ， 可 
以 通过 IPerf3 提供 的 众多 选项 设 定 各 个 参数 ,比如 


iperf3 — c192.168.1.123 — P4 — 130 — bl0G—u 


代表 的 是 开始 一 个 UDP 传输 ， 目 标 端 地 址 为 
192.168.1.123, 并 发 开启 4 个 线程 ， 持 续 时 间 为 30 
eb, 带宽 为 LOGbps. 通过 不 同 线程 、 及 带宽 的 测试 ， 
Us 调整 所 需要 指定 的 窗口 大 小 ， 以 此 完成 对 
UDP 协议 的 拌 动 、 丢 包 率 分 析 ，TCP 和 UDP th 
议 的 带宽 适应 性 测试 ， 从 而 找到 最 佳 的 传输 性 能 参 


3.2.4 NGAS 


下 一 代 归 档 系统 (Next Generation Archive 
System, 简称 NGAS) 最 初 为 欧洲 南方 天 文 台 (Eu- 
ropean Southern Observatory, 简称 ESO) 的 数据 
归档 和 分 发 而 设计 名 ， 主 要 目标 为 整套 系统 可 扩 
展 并 支持 大 数据 的 传输 和 检索 。NGAS 的 主要 特点 
包括 但 不 限于 : 

e HF Linux 不 同 的 发 行 版 操作 系统 
。 服务 端 使 用 Python 开发 

。 具体 实现 使 用 多 线程 HTTP 

e 基于 URL 的 命令 行 接口 

。 文 持 不 同 数 据 类 型 的 插件 架构 

。 基 于 XML 配置 文件 和 消息 传递 

该 技术 后 续 也 被 用 于 ALMA b4, NRAO, MIT 
等 天 文 观测 设备 和 观测 台 。 目前 MWA 也 使 用 了 该 
技术 B5 , 并 对 其 进行 了 定制 , 优化 了 NGAS 的 高 知 
叶 数 据 输 入 、 数 据 流 管理 、 多 层次 数据 存储 和 数据 
处 理 的 缓存 ， 以 满足 MWA 数据 400MB/s 持续 可 
见 度数 据 的 需求 , 该 技术 也 用 于 MWA 的 数据 分 发 
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工作 。MWA 首先 通过 NGAS 在 台 站 以 400MB/s 
的 数据 进行 在 线 归 档 (Online Archive, 简称 OA), 
后 面 通过 10Gbps 的 网 络 传输 到 位 于 Perth 超 算 的 
长 期 存储 设备 (Long-term Archive, 简称 LTA), 并 
同步 发 送 到 位 于 澳大利亚 珀 斯 、 美 国 MIT 和 新 西 
兰 VUW 的 数据 处 理 中 心 。 

NGAS 目前 支持 三 种 协议 ,分别 为 HTTP, 
FTP 和 GridFT.。 基 于 NGAS 和 无 限 滑动 窗口 (Un- 
limited Sliding-Window， 简 称 USW) 技术 ， 通 过 
ZeroMQ 中 间 件 技术 ， 增 强 的 NGAS (Enhanced 
NGAS, 简称 ENGAS) 可 以 把 NGAS 的 性 能 提升 
3 | 12 倍 。 同 时 ENGAS 还 减少 了 通讯 时 间 ， 改 

了 带宽 的 利用 率 ， 解 决 了 远程 同步 的 问题 ， 从 而 
更 好 的 数据 传输 性 能 B9 。 


1 


3.2.5 jive5ab 


jive5ab P7! 由 欧洲 VLBI 联合 所 (Joint Insti- 
tute for VLBI ERIC, 简称 JIVE) 为 欧洲 其 长 基线 
干涉 网 络 (European VLBI Network， 简 称 EVN) 
FF RII BRE. RE SHEER Dimino， 主 要 
功能 包括 数据 记录 、 读 取 和 传输 等 。JIV 卫 为 EVN 
的 核心 组 织 ， 主 要 工作 为 运行 和 开发 EVN 的 观测 
数据 及 处 理 ，EVN 的 数据 分 散 于 全 球 22 个 望远镜 
和 人 台 站 ， 这 些 望远镜 最 远 距 离 JIVE 有 10000 多 公 
里 。 由 于 观测 数据 需要 被 统一 传输 到 JIVE 进行 相 
关 处 理 ， 所 以 需要 一 套 实时 数据 传输 的 软件 来 进行 
运 维 ，jive5ab 被 用 于 将 这 些 数据 传输 到 相关 处 理 
中 心 进行 处 理 ， 其 中 的 工具 m5copy 基于 UDT th 
议 ， 可 以 开展 长 距离 高 速 的 数据 传输 及 监测 。 目 前 
上 海天 文 台 的 天 马 65 米 射 电 望 远 镜 与 余 山 25 米 射 
电 望 远 镜 作为 EVN 的 两 个 参与 台 站 ， 参 与 常规 的 
EVN 观测 , 观测 的 数据 传输 目前 使 用 jive5ab 来 进 
行 ，EVN 的 大 多 数 台 站 (比如 Effelsberg, Yebes, 
Onsala 等 ) 在 2017 年 将 eVLBI 的 带宽 从 1Gbps 
升级 到 了 2Gbps, KH 65 米 射 电 望 远 镜 与 余 山 25 
米 射 电 望 远 镜 也 在 2018 年 5 月 举行 技术 运行 组 
会 (Technical Operations Group, 简称 TOG) 之 
前 ， 升 级 配置 了 FlexBuff 用 于 通过 flal0g x? 2 
Gbps 的 速率 ， 后 续 随 着 中 国 科技 网 (China Sci- 
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ence and Technology Net, ， 简 称 CSTNet) 的 带宽 
升级 ， 两 个 台 站 的 数据 传输 带宽 也 从 1Gbps 升级 
到 了 2Gbps， 欧 洲 的 大 部 分 台 站 现在 已 经 升级 到 了 
4Gbps 带宽 9。 


3.2.6 MWA download 


全 天 虚拟 天 文 台 (The All-Sky Virtual Obser- 
vatory， 简 称 ASVO) 通过 将 澳大利亚 所 有 的 天 文 
设施 联合 的 方式 ， 使 研究 人 员 和 科学 家 可 以 访问 所 
有 的 数据 集 。 其 中 ASVO-MWA 节点 主要 为 MWA 
观测 服务 ， 通 过 在 线 服 务 和 相应 的 工具 为 研究 人 员 
提供 MWA 的 数据 处 理 服务 和 获取 , 数据 可 以 是 原 
始 可 见 度数 据 或 校准 可 见 度数 据 ， 可 以 通过 后 台 搭 
载 的 软件 来 进行 转换 ， 同 时 ASVO 节点 强制 实施 
元 数据 的 完整 性 以 及 数据 的 访问 权限 设置 。 

当前 MWA 的 数据 下 载 主 要 通过 manta-ray- 
clients) 来 进行 批量 下 载 ， 使 用 基于 TCP 协议 的 应 
用 层 传 输 协 议 - 超 文本 传输 协议 (HyperText Trans- 
fer Protocol, 简称 HTTP), 并 通过 多 线程 加 速 ， 默 
认为 开启 4 个 线程 ， 数 据 块 为 64KB。 

ASVO-MWA 关于 数据 的 原则 称 为 FAIR P, 
规则 如 下 : 


。 方便 寻找 的 (Findable): 所 有 的 MWA 观测 都 
有 唯一 的 标识 (使 用 obsid 来 查找 ) MWA ASVO 也 
提供 与 国际 虚拟 天 文 台 联盟 (International Virtual 
Observation Alliance， 简 称 IVOA) 的 表 访 问 协 议 
(Table Access Protocol, 简称 TAP), 方便 与 IVOA 
兼容 的 软件 来 访问 观测 信息 

。 可 访问 的 (Accessible) ， 可 以 通过 TAP 协议 
便捷 地 访问 

e 可 互 换 的 (Interoperable), MWA 可 以 生成 两 
种 标准 的 射电 天 文 数据 格式 ， 即 CASA 测量 集 数 
据 (Measurement Set， 简 称 MS) 或 者 fits 格 
式 的 数据 N 

e EHKI (Reusable) ， 提 供 的 数据 包括 元 信 
息 ， 比 如 观测 、 望 远 镜 设置 以 及 数据 处 理 的 细节 

这 些 规则 也 适用 于 后 续 SRC 对 数据 的 需求 。 


8) https://github.com/MWATelescope/manta-ray-client 
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3.3 ”网 络 参数 


通过 带宽 延迟 (Bandwidth Delay Product, 简 
称 BDP) 的 公式 (1) 可 知 ，BDP 的 大 小 决定 了 终端 
主机 需要 的 缓冲 量 ， 很 大 程度 上 会 影响 数据 传输 速 
度 ， 而 最 大 传输 速率 很 大 程度 上 取决 于 网 络 数据 包 
的 窗口 大 小 加 。 


Bandwidth Delay = Bandwidth x RTT (1) 


按照 较 优 的 RTT, 比如 40ms 为 例 , 如果 Band- 
width 为 1Gbps， 那 么 最 佳 的 BDP 应 该 设置 为 
4.77MB, 同样 如 果 Bandwidth 为 0Gbps, 最 佳 的 
BDP 应 该 设置 为 47.68MB。 如 果 RTT 为 10ms, 
在 1Gbps 带宽 的 时 候 ，BDP 应 该 设置 为 此 时 的 数 
据 流 为 1.19MB. 

再 结合 socket 缓冲 区 大 小 的 计算 (2) 如 下 所 示 : 


socket_buf fer_size = 2 x bandwidth x delay (2) 


这 个 值 可 以 通过 BSD setsocket 的 选项 
SO_SNDBUF 和 SO_RCVBUEF 分 别 设 定 发 送 组 
冲 区 和 接收 缓冲 区 的 大 小 ， 这 两 个 参数 还 会 影响 接 
收 的 窗口 (Receiver Window， 简 称 RWND). 

系统 初始 的 网 络 参数 如 下 以 及 根据 实际 的 输出 
传输 测试 ， 初 始 以 及 经 过 优化 后 的 参数 值 如 表 1 所 
示 ， 其 中 各 个 配置 位 于 net 配置 文件 。 

其 中 net.core.netdev_max_backlog 用 于 控制 
net_rx_action 软 中 断 的 最 大 值 。 

这 些 值 系统 默认 情况 下 设置 的 比较 小 ， 需 要 根 
据 内 核 的 版 本 、 数 据 的 带宽 以 及 可 容忍 的 延迟 来 适 
当 调整 。 


3.4 ”其 他 优化 


对 网 络 进行 的 调 优 也 可 以 通过 下 面 的 操作 来 进 
行 。 使 用 大 的 数据 块 将 改善 性 能 ， 一 般 情况 下 推荐 
SKB 的 数据 块 。64KB 是 更 好 的 选择 ， 这 里 需要 网 
卡 的 硬件 支持 。 另 外 创建 并 使 用 多 个 socket 数据 流 
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表 1 系统 初始 网 络 参 数 设 置 


Table 1 Network Parameter Setting 


参数 初始 值 优化 值 
core.rmem_max 212992 16777216 
core.rmem_ default 212992 16777216 
core.wmem_max 212992 16777216 
core.wmem_ default 212992 16777216 
ipv4.tcp_rmem 4096 /87380/6291456 4096/87380/16777216 
ipv4.tcp_wmem 4096 /16382/4194304 4096 /87380/16777216 
core.netdev_max_ backlog 1000 250000 


可 以 极 大 地 改善 数据 的 传输 性 能 。 可 以 使 用 iperf 
的 -P 选项 来 进行 实测 。 另 外 bbep 和 gridFTP 也 
文 持 并 行 数 据 流 的 传输 。 不 过 需要 特别 注意 磁盘 的 
性 能 ， 其 性 能 也 可 能 是 数据 读 写 的 瓶颈 。 

如 图 所 示 ， 目 前 CSRC-P 的 数据 传输 节点 读 写 
性 能 均 在 20Gbps， 满 足 高 速 传输 的 要 求 。 


4 实验 测试 


本 章节 列举 了 CSRC-P 与 运行 中 的 位 于 澳 大 利 
亚 的 SKA 探 路 者 项 目 默 奇 森 宽 视 场 阵 中 1、 位 于 荷 
兰 的 JIVE 研究 以 及 与 西班牙 SRC 进行 的 数据 传 
答 测 试 。 传 输 测试 详细 阐述 了 使 用 的 软件 、 方 法 及 
采用 的 相关 优化 等 工作 。 


4.1 -中 澳 实验 


在 CSRC-P 与 澳大利亚 的 测试 中 ， 传 输 的 数据 
主要 来 自 SKA 的 先导 阵列 MWA, ASKAP 以 及 用 
于 脉冲 星 观测 的 Parkes 望远镜 。 主 要 使 用 了 三 种 
传输 方案 ， 分 别 为 NGAS、ASVO 以 及 scp。 其 中 
NGAS 方案 为 最 开始 在 CSRC-P 与 澳大利亚 举办 的 
大 数据 研讨 会 上 9) 开 展 ， 当 时 的 网 络 由 CSTnet 和 
澳大利亚 学 术 与 研究 网 (Australian Academic Re- 
search Network, ff pK AARNET) 提供 ， 带 宽 为 
1Gbps。 后 续 根据 需要 开通 了 常规 的 2Gbps 带宽 也 
网 络 以 及 突 发 的 5Gbps 的 网 络 。 

传输 的 数据 格式 主要 包含 Measurement Set 数 
据 ，FITS 数据 以 及 处 理 的 结果 文件 。CASA MS 


9) https://eridanus.net.au/?p=269 


格式 的 数据 有 一 个 极 大 的 数据 文件 和 很 多 小 文件 ， 
这 种 格式 不 利于 数据 的 长 距离 传输 ， 最 好 的 办 法 是 
将 其 打包 压缩 为 一 个 文件 。 而 FITS 文件 主要 为 
相关 处 理 后 的 数据 ， 数 据 量 一 般 在 每 个 文件 40GB 
~ 60GB。 处 理 的 结果 文件 主要 为 一 些 文本 文件 和 图 
像 文件 。 


一 种 办 法 就 是 在 Pawsey 进行 处 理 ， 后 续 直 接 
在 Pawsey 的 超 算 上 进行 下 载 ， 然 后 把 数据 处 理 的 
初步 结果 通过 Pawsey 超 算 的 数据 传输 节点 hpc- 
data.pawsey.org.au 传输 到 CSRC-P, 此 时 可 以 通过 
判断 位 于 数据 节点 的 manifest 文件 来 判断 文件 是 
否 更 新 ， 数 据 是 否 需 要 下 载 等 信息 ， 这 种 情况 下 因 
为 使 用 的 为 sp ， 所 以 每 一 组 的 数据 速率 仅仅 能 达 
到 150Mbps 左右 。 


CSRC-P 最 早 利 用 CSTNet 提供 的 1G 网 络 使 
用 NGAS 开展 了 网 络 传输 测试 ， 当 时 的 传输 速率 
在 500Mbps~750Mbps, 如 图 3,4 所 示 : 在 1Gbps 网 
络 带宽 的 时 候 ， 使 用 NGAS 进行 数据 的 传输 下 载 ， 
在 使 用 1 个 数据 流传 输 的 时 候 平均 传输 速率 只 有 
514Mbps 的 速率 , 通过 增加 SOCKET 接收 缓冲 区 
的 大 小 ， 并 使 用 4 个 并 行 传输 的 线程 ， 进 行 了 10 
分 钟 约 64GB 的 数据 传输 测试 , 平均 传输 速率 达到 
了 738Mbps。 考 虑 到 从 上 海 经 由 北京 ， 然 后 通过 公 
共 互联 网 ， 到 达 澳 大 利 亚 珀 斯 ， 这 个 传输 速率 是 比 
较 理 想 的 。 
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ICRAR to SHAO - 32MB TCP window, 1 Stream, Mean Throughput 514MBits/s 


Throughput MBits/: 
è 8 


图 3 2017 年 5 月 19 日 CSRC-P 与 MWA 的 数据 流 基准 
测试 

Figure3 Benchmark of NGAS using 1Gbps bandwidth on May 
19 2017 


1400 Data rate test from SHAO(China) to AARNET(Austrilia) 
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图 4 2017 Æ 8 A 28 日 CSRC-P 与 MWA 的 NGAS 数据 
流传 输 实 验 

Figure 4 Benchmark of NGAS between CSRC-P and ICRAR 
on August 28 2017 


CSTNet 于 2020 年 开通 了 5G 带宽 的 测试 条 
件 ，CSRC-P 与 MWA 重新 开展 了 数据 传输 ， 并 使 
用 全 新 的 全 天 虚拟 天 文 台 (All-Sky Virtual Obser- 
vatory, 简称 ASVO) 接口 , 通过 manta-ray-client 
来 进行 数据 下 载 ， 如 图 5 数据 的 传输 速率 最 高 可 达 
4.5Gbps。 目 前 ASVO 的 工作 方式 为 ， 提 交 job 到 
ASVO 服务 器 ， 然 后 ASVO 会 将 原始 数据 从 长 期 
存储 的 磁带 中 读 回 到 硬盘 缓冲 区 ， 在 数据 完整 地 读 
取 到 硬盘 缓冲 区 以 后 ， 才 可 以 进行 下 载 ， 所 以 在 提 
交 新 的 数据 下 载 请 求 时 ， 可 以 看 到 会 有 一 段 时 间 的 
等 待 ， 此 时 即 为 数据 的 准备 时 间 。 而 从 2021 年 10 
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月 1 日 02 时 开始 到 09 时 左右 的 数据 速率 为 0， 后 
续 分 析 得 知 ， 该 段 时 间 ASVO 节点 处 于 维护 阶段 ， 
暂停 所 有 的 数据 人 处理 ， 后 续 的 数据 传输 恢复 正常 。 


图 5 2020 年 10 月 1 日 CSRC-PChina-ASVO 测试 
Figure 5 Benchmark of ASVO using 5Gbps bandwidth on Oc- 
tober 1 2020 


4.2 中 荷 实验 


图 6 2021 年 10 月 18 日 China-Jive 数据 常规 传输 2Gbps 
带宽 

Figure 6 Data transfer between China and JIVE on October 
18 2021 using 2Gbps bandwidth 


上 海天 文 台 有 2 台 射 电 望 远 镜 参 加 EVN 观测 ， 
会 有 常规 的 数据 传输 工作 。 在 与 JIVE 进行 的 数据 
传输 中 , 传输 的 数据 主要 为 EVN 的 观测 数据 , 数据 
格式 当前 主要 为 Mark5B, 根据 观测 计划 的 不 同 , 单 
个 数据 文件 的 大 小 在 10GB ~150GB, 基于 UDT 协 
议 使 用 jive5ab 来 传输 。 当 前 的 网 络 带 宽 为 2Gbps， 
如 图 6 所 示 ， 数 据 传输 的 平均 速率 在 1.8Gbps 左右 ， 
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带宽 利用 率 在 90% 左右 。 数 据 传 输 已 经 经 过 了 优 
化 ， 本 次 的 观测 波动 主要 在 首次 读 取 文件 的 时 刻 。 


4.3 “中西 实验 


2020 年 7 月 开始 , CSRC-P 与 西班牙 安达 卢 西 
亚 天 体 物 理 研 究 所 (The Instituto Astrofisica An- 
dalucfa , 简称 IAA) 开展 了 关于 SRC 之 间 的 网 络 测 
试 研究 ， 用 于 分 析出 在 跨 洲际 的 情况 下 ， 影 响 网 络 
性 能 的 因素 。 主 要 分 析 了 短 距 离 10Gbps 及 25Gbps 
带宽 情况 下 ， 基 于 UDP 和 TCP 协议 影响 数据 传 
输 的 情况 。 由 图 7,8, 9,10 可 知 ， 在 10Gbps 带宽 的 
情况 下 ，TCP 数据 包 在 256KB 以 上 ， 其 传输 速率 
基本 保持 比较 稳定 的 状态 ，TCP 窗口 对 速率 的 影 
响 在 2% 左右 ; 在 25Gbps 带宽 的 情况 下 ，TCP 数 
据 包 在 256KB 及 512KB Hf, 其 传输 速率 可 以 达到 
较 好 的 状态 ，TCP 窗口 在 4MB, 数据 包 为 512KB 
时 ， 速 率 最 高 ， 基 本 可 以 到 到 19Gbps， 对 速率 的 
影响 较 大 ， 可 以 达到 在 10% 左右 。 在 对 CSRC-P 与 
IAA 进行 数据 传输 时 ， 在 网 络 带宽 为 1Gbps 的 情 
况 下 传输 的 测试 速率 仅仅 在 150Mbps 左右 。 分 析 
可 能 的 情况 为 受到 了 中 间 路 由 的 限制 。 


图 7 2020 4F 8 A 6 H 10Gbps 不 同 TCP 长 度 测试 
Figure 7 Benchmark of different TCP length using 10Gbps 
bandwidth on August 6 2020 
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图 8 2020 年 8 月 6 日 10Gbps 不 同 TCP 窗口 大 小 测试 
Figure 8 Benchmark of different TCP length using 10Gbps 
bandwidth on August 6 2020 


图 9 2020 年 8 月 6 日 25Gbps Ala] TCP 长 度 测试 
Figure 9 Benchmark of different TCP length using 25Gbps 
bandwidth on August 6 2020 


‘uration ta) 


图 10 2020 Æ 8 H 6 H 25Gbps Ala] TCP 窗口 大 小 测试 
Figure 10 Benchmark of different TCP length using 25Gbps 
bandwidth on August 6 2020 


5 讨论 


相对 于 UDP MA, TOP 提供 了 更 多 的 控制 机 
fil, 比如 sliding 窗口 , 数据 重 传 , Nagle 算法 , 拥塞 
控制 等 。 对 于 短 距 离 传 输 而 言 , UDP 是 比较 好 的 通 
讯 协 议 ， 但 是 对 长 距离 ， 比 如 洲际 之 间 的 传输 ， 大 
多 仍 需 使 用 TOP 传输 协议 , 或 者 也 可 以 在 UDP 的 
基础 上 增加 一 些 可 靠 性 的 机 制 。 下 一 步 将 进一步 对 
TCP 协议 的 高 速 存储 技术 进行 研究 和 测试 , 包括 对 
多 核 多 进程 开展 相关 研究 。 当 前 40Gbps/100Gbps 
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的 网 络 也 在 快速 研发 中 ， 由 于 其 价格 昂贵 ， 基 本 用 ”文学 界 的 最 高 优先 事项 之 一 。 同 样 SKA 产生 数据 


于 洲际 的 骨干 网 和 数据 中 心 ， 相 信和 随 着 新 技术 的 发 ”的 规模 、 速 率 以 及 复杂 度 ， 都 对 当前 业界 的 数据 管 


展 ， 


了 100Gbps 的 高 速 网 络 ， 后 续 将 尽快 开展 相关 的 。 率 、 存 储 和 处 理 等 流程 的 估算 ， 每 个 SKA 望远镜 
优化 工作 , 提升 100Gbps 网 络 的 性 能 , 以 应 对 未 来 。” 台 站 每 年 有 超过 300PB 的 数据 需要 传输 到 各 个 区 


T 


硬件 也 会 逐步 升级 。 当 前 北京 与 上 海 已 经 具备 。 理 、 网 络 和 计算 提出 了 很 大 的 挑战 。 通 过 对 数据 速 


的 挑战 。 域 中 心 ， 观 测 台 站 到 每 个 SRC 需要 具备 100Gbps 
的 网 络 , 这 些 工作 十 分 依赖 于 国家 的 骨干 网 络 设施 、 
6 总 结 与 展望 设备 和 相应 的 软件 。 随 着 技术 的 进步 和 SKA 项 目 
的 稳步 推进 ， 新 的 技术 和 方法 也 将 对 业界 产生 比较 
好 的 推动 作用 。 
SKA 的 科学 潜力 是 前 所 未 有 的 ， 也 是 国际 天 

致谢 ”向 评审 人 和 对 该 文 有 帮助 的 人 士 表示 谢意 . 本 研究 使 用 了 中 国 SKA 区 域 中 心 原型 机 的 资源 。 
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The Square Kilometer Array (SKA) is the largest radio telescope, and the data generated by its observations 
will be transmitted from Australia and South Africa to the scientific data processing center about one hundred 
kilometers away at first, and then distributed to various SKA Regional Centres(SRC) with a distance of 
tens of thousands of kilometers through high-speed network. In the SKA Phase One (SKA1) stage with 
a scale of 10% of SKA, it is estimated that about 750PB of data needs to be distributed to each SRC 
through a network of at least 100Gbps each year. Such high network bandwidth and data scale bring great 
challenges to data transmission and distribution. This paper analyzes different network protocols such as 
TCP/UDP/HTTP and uses different software in the field of radio astronomy for testing and research, and 
then the optimal transmission scheme parameters under the current infrastructure of 10Gbps network are 
obtained. In this paper, the factors affecting high-speed transmission are discussed, and the corresponding 
performance optimization strategies are given. Before the real observation data of SKA1 is generated, it will 
provide the technical foundation for the network construction and layout of China’s SKA regional center. The 
technical details and methods described are available for reference and use in relevant scientific applications. 
Finally, the challenges of future SKA network requirements are discussed and prospected. 
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